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(57) Abstract: The invention relates to a method for compressing and decompressing video data consisting of an array of individual 
image points (pixels). Each pixel has a pixel value that changes with time and that describes the colour or luminosity information of 
the pixel. According to the method, a priority is allocated to each pixel and the pixels are then stored in a priority array according 
to this priority allocation. Said array contains at each moment in time the pixel values that have been classified according to the 
priority allocation. The pixels and the pixel values that have been used to calculate the priority allocation are transmitted or saved 
according to said priority allocation. A pixel receives a high priority, if the differences in relation to its neighbouring pixel are great. 
For the reconstruction process, the current pixel values in each case are reproduced on the display. The pixels that have not yet been 
transmitted are calculated from the pixels that have already been transmitted. . ~ . 
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(57) Zusammenfassung: Die Erfindung betrifft ein Verfahren zur Komprimierung und Dekomprimierung von Videodaten, die aus 
einein Array emzelner Bildpunkte (Pixel) bestehen, wobei jedes Pixel einen sich zeitlich yerandernden Pixelwert aufweist, der Farb- 
oder Henigkeitsinformation des Pixels beschreibt Erfindungsgemass wird jedem Pixel eine Prioritat zugeordnet und die Pixel ent- 
sprechend ihrerPnonsierung in einem Priori tatenarray abgelegt. Dieses Array enthalt zu jedem Zeitpunkt, die nach derPriorisierung 
sortierten Pixelwerte. Entsprechend der Priorisierung werden diese Pixel, und die fur dieBerechnung der Priorisierung benutzten 
Pixe werte, ubertragen bzw/ abgespeichert. Ein Pixel bekommt eine hohe Prioritat, wenn die Unterschiede zu seinen benachbarten 
Fixe! sehr gross sind. Zur Rekonstruktion werden die jeweils aktuellen Pixelwerte auf dem Display dargesteil t Die noch nicht Qber- 
tragenden Pixel werden aus den schon ubertragenden Pixel berechnet 
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Verfahren zur Komprimierung und Dekomprimierung von Videodaten 

Die Erfindung beschreibt ein Verfahren zur Komprimierung und 
Dekomprimierung von Videodaten 

Videos erzeugen groBe Datenmengen. Urn diese Datenmengen effektiv zu 
iibertragen und abzuspeichern, ist es sinnvoli diese zu komprimieren. 

Nach der heutigen Stand derTechnik werden Videosignale in einer schnellen 
Abfolge von Einzelbildern aufgenommen und wiedergegeben. Beim Fernsehen 
(PAL-Norm) sind dies 25 Bilder pro Sekunde, bzw. 50 Halbbilder. Bei digitalen 
Aufnahmen sind das bis ca. 30 Bilder pro Sekunden. Jedes Bild wird in Zeilen 
zerlegt, und zunachst sequentiell Obertragen. 

Bisherige Komprimierungsmethoden basieren im wesentlichen auf der 
Reduzierung der Auflosung, der Farbtiefe und der Verringerung der Anzahl der 
Bilder pro Sekunde. Bei der digitalen Kompression* z.B. den MPEG-Verfahren, 
werden anstelle von kompletten Bildern im wesentlichen die Differenzbilder, 
d.h. die Unterschiede der einzelnen Bildpunkte (Pixel) im Vergleich zum 
vorherigen Bild, anstelle der Komplettbilder Obertragen. Der neueste Standart 
fur Videokodierung ist MPEG4. 

MPEG ist die Abkurzung fur "Motion Pictures Expert Group". Von dieser Gruppe 
wurden bzw. werden Dateiformate und Verfahren zum platzsparenden 
Komprimieren und Speichern von Video- bzw. Multimediadaten (Video, Bild- 
qnd Tondaten) in hoher Qualitat festlegt. Der MPEG-Standard unterteilt sich 
inzwischen in MPEG-1, MPEG-2, MPEG-3 und MPEG-4 , wobei der MPEG-3- 
Standard mittlerweile in MPEG-2 integriert wurde. 

Um die riesige Datenmenge von Filmen mit "normalen" Computern verarbeiten 
und transportieren zu konnen, werden nur die Veranderungen zum 
Vorgangerbild abgespeichert. Das MPEG-Format speichert in regelmaBigen 
Abstanden von typischerweise zwolf Bildern sogenannte Intra-Frames ab; das 
sind JPEG-komprimierte Einzelbilder. Die Bilder zwischen diesen l-Frames 
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werden nach Moglichkeit nicht komplett abgelegt. Vielmehr speichert MPEG, 
wie man sie durch Verschieben von Teilen aus vorangehenden oder 
nachfolgenden Bildern zurQckgewinnen kann. Dazu werden auch 
vorausschauende "Predicted Frames" und "B-Frames" (Bi-directionale Frames) 
verwendet. Da das aber nie perfekt klappt, werden zusatzlich pro Bild die 
verbleibende Abweichung noch JPEG-kodiert abgespeichert. Mit dieser 
Methode lasst sich der Datenaufwand fur einen Video-Film urn etwa 99% 
verringern . Die mogliche Kompression geht bis 200:1. 
MPEG-1 wurde furflussige Video-Wiedergaben entworfen. Die MPEG-1 - 
Komprimierung bzw. Dekomprimierung war ursprunglich ein 
hardwareabhangiges Verfahren. Es ist allerdings mittlerweile, dank der 
schnellen Prozessoren, auch ein Softwaredekomprimieren moglich. 
Der wesentliche Unterschied zwischen MPEG-1 und MPEG-2 besteht darin, 
da(3 MPEG-2 besser mit dem beim Fernsehen eingesetzten 
Zeilensprungverfahren (Interlace) umgehen kann. Das Geheimnis von MPEG-2 
liegt in der Kompression auf hochster Qualitatsstufe, so da3 Filmmaterial 
nahezu 1 zu 1 in Studioqualitat bearbeitet und editiert werden kann. 
Konsequenterweise etablierte sich MPEG-2 zu einem Standard. Bei einer 
reinen l-Framecodierung lasst sich MPEG-2 sogar im Schnittbetrieb einsetzen. 
definiert. Der Teil des MPEG-3-Standard, der fur High Definition TV-Qualitat 
(HDTV) vorgesehen war, wurde mittlerweile in den MPEG-2-Standard 
implementiert. 

MPEG-4 ist eine Weiterentwicklung des MPEG-2-Formats und befindet sich seit 
1 996 in der Entwicklung. Obwohl MPEG-4 ursprunglich als ein 
Codierungsstandard fur audiovisuelle Daten mit sehr niedriger Bitrate gedacht 
war, diente die Entwicklung weit mehr Zwecken als lediglich dem Streaming von 
linearen Mediendaten bei Internet- und drahtlosen Anwendungen. MPEG-4 
stellt z.B. effiziente Mechanismen zur Komprimierung und Distribution 
interaktiver Medieninhalte bereit. AuBerdem verfugt MPEG-4 Qber 3D- 
Potentiale, urn kQnstliche Intelligenzen zu visualisieren oder Avantare 
darzustellen, z.B. im Rahmen von Videokonferenzen. 

Die Kompressionsrate ist bei MPEG-4 hoher als bei MPEG-2, wobei "Sprites*' 
besser komprimiert werden konnen, weil dem Codier-Mechanismus dafur 
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wesentlich mehr Zeit zur Verfugung s^eht. Eventuell kann dabei sogar auf 
Wavelets umgeschaltet werden. Die Skriptsprache ermoglicht es, in wenigen 
Bytes Operationen wie "verschieben" wesentlich schneller durchzufuhren, als 
es die digitalisierte komprimierte Form der gleichen Operation ermoglichen 
wurde. Mit Hilfe dieser "Sprites" konnen beliebig konturierte Standbilder uber 
sich bewegende Bilder geschoben werden. 

Die Aufgabe der Erfindung liegt in der Schaffung eines Verfahrens zur 
Komprimierung von Videodaten, welches eine einfache und flexible Anpassung 
an unterschiedliche Obertragungsraten bzw. -bandbreite, Bildauflosungen und 
DispiaygroBen erlaubt. 

Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1 gelost. 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den 
Unteranspruchen angegeben. 

Vorzugsweise erfolgt eine paralleie Verarbeitung der Videoinformationen im 
Videoaufnahmechip. Die paralleie Verarbeitung dient dem Zweck, zunachst die 
wichtigsten Pixel zu ermitteln und diese entsprechend einer Priorisierung in ein 
Prioritatenarray abzulegen. Dieses Array enthalt zu jedem Zeitpunkt, die nach 
der Priorisierung sortierten Pixelwerte. Entsprechend der Priorisierung werden 
diese Pixel, und die fur die Berechnung der Priorisierung benutzten Pixelwerte, 
iibertragen bzw. abgespeichert. Ein Pixel bekommt eine hohe Prioritat, wenn 
die Unterschiede zu seinen benachbarten Pixel sehr groB sind. 

Zur Rekonstruktion werden die jeweils aktuellen Pixelwerte auf dem Display 
dargestellt. Die noch nicht ubertragenden Pixel werden aus den schon 
ubertragenden Pixel berechnet. 

Entsprechend der Rechenleistung, der Obertragungsbandbreite und der GroBe 
des Displays konnen unterschiedliche Verfahren zur Berechnung der noch nicht 
Qbertragenen Pixel eingesetzt werden. Steht eine sehr groBe Bandbreite zur 
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Verfugung kann eine einfache lineare Interpolation durchgef uhrt werden. Steht 
nur eine sehr kleine Bandbreite zur Verfugung, kann dies bei der Ubertragung 
der priorisierten Pixel berucksichtigt werden. 

Durch den Historienverlauf der ubertragenden Pixel konnen Objekte 
identifiziert, und damit eine Bewegungsabschatzung dieser Objekte 
durchgefuhrt werden. 

Der Grundgedanke des Verfahrens basiert auf der priorisierten 
Pixelspeicherung bzw. Ubertragung. Bei der Abspeicherung bzw. der 
VideoQbertragung mussen ferner die zeitlichen und positionellen (innerhalb des 
Bildarrays) Abhangigkeiten der einzelnen Pixel oder in Pixelgruppen 
zusammengefassten Pixel berucksichtigt werden. 

Um eine extreme hone Datenkompression zu erzielen werden jeweils die 
Pixelgruppen ubertragen, die die hochste Prioritat haben, und bisher noch nicht 
ubertragen worden sind. Die Flachen, d.h. die Pixelwerte zwischen den schon 
ubertragenden Pixelgruppen werden aus den schon ubertragenden 
Pixelgruppen berechnet, z.B. durch Interpolation. Bel hdherer Auflosung 
(groBeres Bildarray) steigt der erreichbare Kompressionsfaktor, da bei 
naturlichen Aufnahmen groBere Flachen meist einen gut vorhersagbaren 
(gleichmaBigen) Farbverlauf haben, Z.B. blauer Himmel. 

Zu beachten ist auch, dass jeweils die exakten Pixelwerte ubertragen werden. 
Falls erforderlich erlaubt dies Verfahren eine verlustfreie Ubertragung der 
Videoinformationen. 

Die Widerherstellung bzw. Rekonstruktion der Videodaten beruht auf 
Abschatzungen ahnlich des menschlichen Sehverhaltens. Der Mensch nimmt 
Reize war, aber die Interpretation was er auf diesem Bild erkennt, findet erst in 
seinem Gehirn statt. Die Reize entsprechen den ubertragenen Pixelgruppen, 
die Interpretation entspricht dem Ausfullen der Flachen zwischen den noch 
nicht ubertragenen Pixelgruppen. 
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Urn dieses zu realisieren, konnen zusatzliche Arrays angelegt werden. Dies 
sind unter anderem ein Array in welchem die Information vorhanden ist, aus 
welchen Pixelgruppen der Pixelwert an der aktuellen Position ermittelt wurde. 
Weitere Informationen konnen sein, wann diese Werte berechnet worden sind, 
aus welchen Pixelgruppen diese berechnet bzw. ubertragen worden sind. Auch 
eine Einschatzung uber die'Genauigkeit der Werte (z.B. Berechnung aus direkt 
benachbarten Pixel, geringe Varianz der zur Berechnung zugrunde liegenden 
Pixel) kann als zusatzliche Information ausgewertet werden. 

Das beschriebene Verfahren erlaubt eine wesentlich einfachere Anpassung des 
Videodatenstroms an unterschiedliche DisplaygrdBen und Bildaufldsungen. 

Ein weitere Vorteil ist, dass durch die beschriebene Art der Kodierung des 
Videos nicht automatisch festgelegt wird, mit welchen Algorithmen das Video 
dekodiert werden muss. Dies wird durch Obertragung der priorisierten 
Pixelwerte erreicht, die entgegen bei anderen Verfahren keine Mittelwertbildung 
erfahren. Hersteller haben damit die Moglichkeit Low bis High Cost Endgerate 
zu entwickeln und sich durch unterschiedliche Algorithmen vom 
Mitkonkurrenten hervorzuheben. 

Die angestrebte massiv-parallele Verarbeitung der Videodaten in einem speziell 
dafur entwickelten Chip erlaubt es, extrem niedrigen Taktraten zu verwenden, 
was sich gunstig auf den Stromverbrauch auswirkt. 

Durch Priorisierung konnen bestimmte Bereiche des Videos (z.B. Lippen bei 
Nachrichtensprechern) mit einer hoheren Prioritat und folglich einer besseren 
Auflosung ubertragen werden. 

Das Verfahren erlaubt es, aus dem Datenstrom des Videos fGr unterschiedliche 
Endgerate die optimalen Teildatenstrome herauszufiltern, ohne das dies bei der 
Videoaufnahme berucksichtigt werden muss. 
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Ein AusfQhrungsbeispiel der Erfindung wird anhand der Zeichnungsfiguren 
naher erlautert. Aus den Zeichnungen und deren Beschreibung ergeben sich 
weitere Merkmale, Vorteile und Anwendungsmoglichkeiten der Erfindung. Es 
zeigt: 



Figur 1 : Darstellung eines Bildarrays aus 20 x 21 Pixeln; 
Figur 2: Darstellung verschiedener Formen von Pixelgruppen; 
Figur 3: Bildarray mit bewegtem Objekt zu einem Zeitpunkt t1 ; 
Figur 4: Bildarray mit bewegtem Objekt zu einem Zeitpunkt t2; 
Figur 5: Bildarray mit bewegtem Objekt zu einem Zeitpunkt t3; 
Figur 6: Neu generiertes Bildarray mit eingefQgten Pixelgruppen in der 
Bildecke; 

Figur 7: Ausfullen der Flachen zwischen den bereits eingefQgten 
Pixelgruppen; 

Figur 8: Einf ugen weitere Pixelgruppen und Ausfullen der 
dazwischenliegenden Flachen. 



Nachfolgend wird anhand eines exemplarischen Beispiels eine Komprimierung 
und Dekomprimierung eines Videosignals beschrieben. 

Folgende Annahmen werden getroffen: 

Als Videoquelle steht ein derzeit ubliches Videosignal zur Verfugung (z.B. PAL 
Oder NTSC). Die Videoinformation kann mit einer handelsublichen 
elektronischen Einrichtung (z.B. Framegrabber-Karte) ausgelesen werden. Zur 
Veranschaulichung des Verfahrens wird im folgenden ein minimiertes Bildarray 
mit einer Breite von 20 Pixel und einer Hone von 21 Pixel verwendet (Figur 1). 
Jedes Pixel des Arrays wird durch einen 32 Bit Wert (Pixelwert) reprasentiert. 
Die 32 Bit sind z.B. in 4 Werte (Transparent, Rot, Grun, Blau) mit jeweils 8 Bit 
aufgeteilt. Die Position der Pixel ist durch eine Integer Zahl festgelegt. Das 
Bildarray wird in der in Figur 1 gezeigten Weise von 0 bis 419 durchgezahlt. Die 
Zahl innerhalb jedes Kastens entspricht der Position des zugehorigen Pixels. 
Zwischen der Quelle und Senke besteht eine UDP (User Datagramm Protocol) 
Verbindung. Uber diese werden dann die komprimierten Videodaten geschickt. 
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Die Komprimierung des Videosignals erfolgt folgendermaBen: 

Das Verfahren beruht darauf, dass standig eine Priorisierung der einzelnen 
Pixel des Videosignals erfolgt, wobei die Pixel entsprechend ihrer Priorisierung 
in ein Array abgelegt werden. Dieses Array enthalt zu jedem Zeitpunkt, die 
aktuellen, nach Prioritat sortierten Pixelwerte. Ein Pixel bekommt eine hohe 
Prioritat, wenn die Unterschiede zu seinen benachbarten Pixel sehr groB sind. 
Das Pixel wird zusammen mit seinen fur die Berechnung verwendeten 
Nachbarpixeln zu einer Pixelgruppe zusammengefasst. Entsprechend der 
Priorisierung werden diese Pixelgruppen iibertragen bzw. abgespeichert. 

Bildarray einlesen 

Der Framegrabber hat zu jedem Zeitpunkt das jeweils aktuelle Bild in seinem 
Bildarray das wie in Figur 1 gezeigt beispielsweise ein 20 x 21 Pixel groBes 
Bildarray sein kann. Jedes Pixel ist durch seine Position (0 bis 419) und seinen 
Pixelwert (Farb- bzw. Helligkeitswert) definiert. 

Pixelgruppen festlegen 

Zuvor wurde festgelegt, welche benachbarten Pixel eine Pixelgruppe bilden. Mit 
p0 ist dabei dasjenige Pixel bezeichnet, das die Position der Pixelgruppe angibt 
und fur das die Prioritat berechnet wird. Die relative Position der ubrigen Pixel, 
z.B. p1-p4, einer Pixelgruppe zum Bezugspixel pO ergibt sich aus der 
verwendeten Art (Form) der Pixelgruppe. In Figur 2 sind exemplarisch einige 
mogliche Formen von Pixelgruppen dargestellt. Es konnen sowohl zum 
Bezugspixel pO symmetrische als auch unsymmetrische Pixelgruppen gebildet 
werden. Welche Art von Pixelgruppe verwendet wird, ist u.a. von der Art des 
Bildmaterials und der angestrebten Kompressionsrate abhangig. In der Regel 
ist der zu erreichende Kompressionsfaktor umso groBer, je mehr Pixel eine 
Pixelgruppe umfasst. Zum kodieren und dekodieren, d.h. komprimieren und 
dekomprimieren des Videobildes muss die gleiche Form von Pixelgruppen 
verwendet werden. 
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Prioritatswerte ermitteln 

Fur jedes Pixel pO einer Pixelgruppe wird nun die Prioritat in Bezug auf dessen 
Pixelgruppe berechnet. Dabei wird jedes Pixel 0-419 des Bildes einmal zum 
Bezugspixel pO. Dabei ist erfindungsgemaG vorgesehen, dass die Berechnung 
der Prioritatswerte der Pixel soweit wie moglich im Rahmen einer parallelen 
Datenverarbeitung durchgefuhrt wird. Optimal ist, wenn die Berechnung der 
Prioritaten aller Pixel des Bildes gleichzeitig erfolgt. Das es sich um ein 
Videosignal handelt, werden die Prioritatswerte aller Pixel standig neu 
berechnet, da sich der Bildinhalt laufend andert. Die Vielzahl der Pixelgruppen, 
insbesondere die mit niedrigerer Priorisierung, werden sich aber mit einer 
hohen Wahrscheinlichkeit nicht andern. 

Zur Berechnung der Prioritat kann es verschiedene Rechenmethoden geben. 
Exemplarisch wird hier eine lineare Methode verwendet. 

Dazu werden die einzelnen Pixelwerte PO, P1, P2, P3 und P4 einer Pixelgruppe 
in ihre Farbanteile Rot, Grun und Blau zerlegt. Jeder dieser Farbwerte wird 
durch 8 Bit reprasentiert. Fur jede Farbe eines jeden Pixels P1-P4 wird nun ein 
Farbdifferenzwert in Bezug auf PO ermittelt, 

z.B. P0_rot - P1_rot, P0_rot - P2_rot, ... , P0_blau - P4_blau. Die absoluten 
Farbdifferenzwerte werden addiert und durch die Anzahl.der Farben und Anzahl 
der betrachteten Pixel geteilt. Das Ergebnis ist ein Prioritatswert fQr die 
betrachtete Pixelgruppe. Dieser Prioritatswert ist umso hoher, je 
unterschiedlicher die Farbwerte der einzelnen Pixel der Pixelgruppe sind. 

Weitere Methoden zur Ermittlung des Prioritatswert sind die Benutzung von 
Grauwerten oder der Maximalwert einer Farbdifferenz einer Farbe. Da der 
Prioritatswert spater selbst nicht ubertragen, bzw. abgespeichert wird, hat das 
Verfahren zur Ermittlung des Prioritatswert keinen direkten Einfluss auf die 
Dekodierung. 

Durch diese Priorisierung wird erreicht, dass Bildbereiche, die einen groBen 
Farb- oder Kontrastwechsel aufweisen, wie z.B. Kanten, eine hohe Prioritat 
erhalten, und relativ gleichbleibende Bildinhalte, wie z.B. blauer Himmel, eine 
Niedrige. 



WO 02/078352 




PCT7DE02/00987 



9 



Prioritatswerte sortieren 

In diesem Schritt werden die Prioritatswerte der GroBe nach absteigend 
sortiert. Die Sortierung erfolgt nach Ermittlung jedes neuen Prioritatswertes 
Fur jeden Zeitpunkt besitzt man somit eine nach Prioritaten geordnete Liste von 
Pixelgruppen die absteigend sortiert ist. Es ist anzustreben, dass 
entsprechende Bildaufnehmer (CCD-Chips) entwickelt werden, welche 
unmittelbar eine solche nach Prioritaten geordnete Liste bereitstellen. 
Wird das zu komprimierende Bild direkt mit einer CCD Kamera oder einem 
Scanner aufgenommen, besteht prinzipiell die Moglichkeit, aus dem in der 
Kamera / dem Scanner vorhandenen, bildbearbeitenden Mikrochip direkt ein 
nach Prioritaten sortiertes Array zu erhalten. Somit wird beim komprimieren ein 
wesentlicher Teil des Rechenaufwandes eingespart. 

Aktualisieren der Prioritatswerte 

Im Gegensatz zu Standbildern (z.B. Fotografien) ergibt sich bei , 
Videoinformationen eine standig wechselnde Prioritatsanderung der 
Pixelgruppen, z.B. bei Kamerasehwenk oder bewegten Objekten. Urn dies zu 
verdeutlichen ist in den Figuren 3 bis 5 ein Videobildarray zu verschiedenen 
Zeitpunkten t1 bis t3 dargestellt, wobei sich ein Objekt von rechts nach links 
verschiebt. 

GemaB Figur 2 enthalt das Bild zum Zeitpunkt t1 ein Objekt, das die Pixel 156, 

1 57,1 76,1 77,1 91 -1 97,21 1 -21 7,231 -237, 256,257,276,277 ausf iillt. 

Fur die Berechnung der Prioritaten der Pixel (0-419) des Bildes wird die in Figur 

2 dick umrandeten Form der Pixelgruppe (links unten) verwendet. 

Es ergibt sich eine Prioritatsverteilung der Pixel, wie sie In der weiteren 

Beschreibung des Verfahrens beispielhaft in Tabelle 1 zum Zeitpunkt t1 

dargestellt ist. Die Tabelle enthalt jeweils nur die Nummer des Bezugspixels 

(p0) einer Pixelgruppe. Diejenigen Pixelgruppen, die sich im Randbereich des 

Objektes befinden und bei denen das jeweilige Bezugspixel (pO) den groBten 

Unterschied zu den ubrigen Pixeln der Pixelgruppe aufweist, bekommen die 

hochste Prioritat A. Die Pixelgruppen, deren Bezugspixel einen geringeren 
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Unterschied zu den ubrigen Pixeln der Pixelgruppe aufweisen bekommen eine 
rnittlere Prioritat B und diejenigen Pixelgruppen, deren Bezugspixel gar keinen 
Unterschied zu den ubrigen Pixeln der Pixelgruppe aufweisen die niedrigste 
Prioritat C. 





Prioritat A 


Prioritat B 


Prioritat C 


Zeitpunkt t1 


175,255,231,191, 
156,157,277,276 


177,197,217,237,257, 
176,256,211,192, ... 


0,1,2,3,4,5,6,7,8,9,10, 
11, 12,13,14,15, ... 


Zeitpunkt t2 


189,173,154,155, 
274,275,253,229 


175,195,215,235,255, 
190,191,192,193, ... 


0,1,2,3,4,5,6,7,8,9,10, 
11, 12,13,14,15, ... 


Zeitpunkt t3 


187,171,227,251, 
152,153,272,273 


173,193,213,233,253, 
188,189,190,191, ... 


0,1,2,3,4,5,6,7,8,9,10, 
11, 12,13,14,15, ... 











Tabelle 1 



Im Rahmen der Komprimierung werden nun zunachst die mit Prioritat A 
versehenden Pixelgruppen ubertragen bzw. abgespeichert, dann die 
Pixelgruppen mit Prioritat B und schlieBlich die Pixelgruppen mit der Prioritat C. 
Da sich das Objekt zwischenzeitlich bewegt und in Bezug zu Figur 3 in den 
Figuren 4 und 5 eine andere Position einnimmt, andern sich die Prioritaten der 
einzelnen Pixelgruppen. Die Prioritateniiste wird aktualisiert und es wird sofort 
mit der Obertragung der aktuellen Pixelgruppen mit der hochsten Prioritat 
fortgefahren. 

Die neu berechneten Prioritaten der Pixelgruppen fur die Zeitpunkte t2 (Figur 4) 
und t3 (Figur 5) sind in Tabelle 1 dargestellt, 

Somit konnte eine mogliche komprimierte Obertragung eines Videosignals 
gemaB Tabelle 1 folgendermaBen aussehen: 

Zeitpunkt t1: Pixelgruppen mit der hochsten Prioritat A werden ubertragen: 
175, 255, 231, 191, 156, 157, 277, 276, 177, 197, 217 
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Zum Zeitpunkt t2 werden neue Prioritaten erkannt. Andere Pixelgruppen 
erhalten hochste Prioritat A. Es wird mit der Obertragung der neuen Prioritat A 
fortgefahren: 

189,173,154,155,274,275,253,229 

Danach folgt die Obertragung der Pixelgruppen mit Prioritat B: 
175,195,215,235,255,190,191,192,193, ... 

Zum Zeitpunkt t3 werden wieder neue Prioritaten erkannt. Andere Pixelgruppen 
erhalten hochste Prioritat A. Es wird mit der Obertragung der neuen Prioritat A 
fortgefahren: 

187,171,227,251, 152,153,272,273 

In einem zusatzlichen Array wird uberpruft, welche Pixelgruppen bereits 
Obertragen worden sind. Wurde eine Pixelgruppe schon ubertragen, braucht 
Sie nicht ein 2tes mal ubertragen werden, sofern sich ihre Prioritat nicht 
zwischenzeitiich geandert hat. Bestimmte Bildregionen, z.B. Gesichter, konnen 
erkannt und bevorzugt Qbertragen werden. Zusatzlich konnen von dem 
Empfanger auch bestimmte Pixelgruppen angefordert werden (z.B. bei 
Erkennung von Obertragungsfehleren durch fehlerhaften CRC Check). Derart 
angeforderte Pixelgruppen konnen dann eine hohe Prioritat erhalten, so dass 
Sie sofort Obertragen wird. 

Pixelgruppen abspeichern / ubertragen 

Die Begriffe ..abspeichern" und „ubertragen" werden nachfolgend synonym 
verwendet. Zunachst werden einige KenngroBen des Videobildes abgespeichert 
bzw. ubertragen. Exemplarisch aufgefuhrt sind das z.B.: 

- Bildbreite (in Pixel) 

- BHdhohe (in Pixel) 

- Verwendete Form der Pixelgruppe (nicht notwendig wenn nur eine Form 
standardisiert ist) 

AnschlieBend werden die einzelnen Pixelgruppen entsprechend ihrer Prioritat 
abgespeichert bzw. ubertragen, d.h. Pixelgruppen mit hoher Prioritat werden 
zuerst gespeichert (und spater auch zuerst ausgelesen). 
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Dazu wird zunachst der Positionswert des Bezugspixels pO der Pixelgruppe 
abgespeichert. AnschlieBend werden die Pixelwerte PO, P1, P2, P3, P4 
abgespeichert. 
Beispiel: 

Positionswert PO, Pixelwerte PO, P1, P2, P3, P4; nachster Positionswert PO (mit 
gleicher Oder niedrigerer Prioritat), Pixelwerte PO, P1, P2, P3, P4, ... , nachster 
Positionswert PO (mit geringster Prioritat), Pixelwerte PO, P1, P2, P3, P4. 

Das Abspeichern kann durch verschiedene Methoden, die hier nur 
exemplarisch angesprochen werden, optimiert werden. 
Es kann eine Lauflangencodierung der Pixelgruppen vorgenommen werden. 
Z.B. wenn in einem Bildbereich keine Rotanteile vorkommen, kann dies anstelle 
von 8 Bit (rot) nur mit z.B. 2 Bit ubertragen werden, oder es kann die Anzahl 
der fuhrenden Nullen ausgenutzt werden. 

Fernerkonnen allgemein ubliche Komprimierungsmethoden, z.B. Zip-Format, 
verwendet werden. 

Durch Festlegung eines Grenzwertes fur die Priorisierung kann eine bestimmte 
Qualitat gewahrleistet werden. Z.B. kann ein Grenzwert fur die 
Pixeldifferenzwerte festgelegt werden unterhalb dessen die zugeordnete 
Pixelgruppe immer den niedrigsten Prioritatswert bekommt. 
Werden zunachst die 4 Pixelgruppen der Eckpunkte ubertragen, bekommt man 
mit wenigen Pixelgruppen eine groGtmogliche Flache berechnet. 

Rekonstruktion (Dekomprimierung) der Videodaten 

Neues Bildarray generieren 

Bei der Rekonstruktion der komprimierten Videodaten wird zunachst ein 
Bildarray vergleichbar mit der Darstellung in Figur 1 erzeugt. Dazu werden die 
Kenndaten des Bildes eingelesen und ausgewertet. Exemplarisch sind dies 
Bildbreite, Bildhohe und Form der zur Komprimierung verwendeten 
Pixelgruppe. Stimmen die Bildhohe und Bildbreite zwischen dem Ursprungsbild 
und der nun gewQnschten Darstellung (z.B. begrenztes PDA Display oder 
hochauflosender Bildschirm) nicht Qberein, muss entsprechend skaliert werden. 
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Dazu werden zunachst Umrechnungsfaktoren ermittelt (Bildbreite.Orginal / 
Bildbreite_Display und Bildh6he_Orginal / Bildh6he_Display). Diese Faktoren 
konnen benutzt werden urn den Positionswert von dem Originalbild in den 
Positionswert des neuen Displays umzurechnen. 

Pixelgruppen einfugen 

Wie in Figur 6 dargestellt ist, werden entsprechend der Reihenfolge der 
priorisierten Pixelgruppen diese nun eingelesen. Beispielsweise werden die 
ersten vier Pixelgruppen mit der hochsten Prioritat in das Bildarray eingetragen. 
In Figur 6 sind dies die Pixelgruppen an den Ecken des Bildes. Die Position des 
Bezugspixels pO der jeweiligen Pixelgruppe ist durch die schwarz unterlegten 
Feider 21, 38, 381 bzw. 398 bestimmt. Dieser Positionswert (pO) liegt als 
Integerwert in der abgespeicherten Datei vor. AnschlieBend konnen die zur 
jeweiligen Pixelgruppe gehorenden, dunkeigrau grau unterlegten Pixelwerte 
(p1-p4) in das neue Bildarray eingetragen werden. Die dazwischen liegenden, 
hellgrau markierten Pixelwerte lassen sich dann aus den dunkeigrau urid 
schwarz markierten Feldern berechnen. Zur Berechnung werden zunachst die 
bekannten Pixelwerte in ihre Bestandteile Rot, Grun und Blau zerlegt. 
AnschlieBend wird der Mittelwert jeder Farbe berechnet, z.B. Pixel(22) = 
(Pixel(2) + Pixel(21) + Pixel(42))/3). 

Flachen ausfQIIen 

Nun werden die bereits vorhandenen Pixelgruppen durch Linien miteinander 
verbunden. Dies ist in Figur 7 dargestellt. Es ergeben sich Dreiecke, dessen 
Ecken durch die entsprechenden Pixelgruppen definiert sind. Exemplarisch soli 
dies an der Linie zwischen Pixelposition 2 und Pixelposition 17 verdeutlicht 
werden. Der Farbverlauf der Linie wird anhand der Farbwerte der Pixel 2 und 
17 berechnet. Zunachst wird die Anzahi der Pixel zwischen diesen beiden 
Positioner) ermittelt, im Beispiel 14. AnschlieBend wird fur jede Farbe (Rot, 
Grun, Blau) die Farbdifferenz ermittelt, z.B. Farbwert an Position 2 = 2; 
Farbwert an Position 17 = 30 ergibt Farbdifferenz von 28). Eine 
Farbwertsteigerung pro Pixel - vom Pixel 2 zum Pixel 17 - errechnet sich dann 
aus Farbdifferenz / Anzahi (Im Beispiel 28/14 = 2). 
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Die noch Obrigen Flachen werden durch Zeichnen von horizontalen Linien 
ausgefQIlt, z.B. von Position 63 nach Position 74, von Position 82 nach Position 
93, usw. Auch hier wird ein vorlaufiger Farbverlauf zwischen den Punkten wie 
oben angegeben berechnet, 

Wie Figur 8 zeigt, ergibt jede weitere hinzufugte Pixelgruppe weitere Dreiecke 
die entsprechend ausgefQIlt werden konnen. Nachdem zunachst die gesamte 
Flache durch Nutzung der 4 Eckpunkte (21, 38, 398, 381) ausgefQIlt wurde, 
kann nun mit jeder weiteren Pixelgruppe die Auflosung verfeinert werden. Das 
Hinzufugen der Pixelgruppe 87 fuhrt zu 4 Dreiecken mit den Bezugspunkten 
(21, 38, 87), (21, 87, 381), (381, 87, 398), (398, 78, 38). Wird nun innerhalb 
eines solchen Dreieckes, z.B. 87, 381, 398, eine weitere Pixelgruppe (247) 
eingefugt entstehen 3 neue Dreiecke (247,381,398), (247, 87, 381) und 
(247,87, 398). Jede neue Pixelgruppe erzeugt somit 3 neue Dreiecke, die 
ausgefQIlt werden konnen. Je mehr Pixelgruppen elngefQgt sind, d.h. je mehr 
Dreiecke gebildet werden, desto naher kommt der berechnete Farbverlauf dem 
tatsachlichen Farbverlauf des Bildes. Da ab nun immer nur neue Dreiecke 
entstehen, konnen fQr die Berechnungen optimierte Verfahren verwendet 
werden. Ferner konnen die jeweils 3 neu entstehenden Dreiecke parallel 
berechnet werden, um die Bearbeitungsgeschwindigkeit zu steigern. 
Zusatzliche Moglichkeit der Parallelisierung entsteht dadurch, wenn neue 
Pixelgruppen in unterschiedlichen Regionen des Bildes hinzugefiigt werden. 

Bei den oben beschriebenen Verfahrenschritten wurde vorausgesetzt, dass 
sich derBildinhalt zwischenzeitlich nicht geandert hat. Andert sich der 
Bildinhalt, dann werden die Prioritaten der einzelnen Pixelgruppen neu verteilt 
und die aktuellen Pixelgruppen mit der hochsten Prioritat Qbertragen. Es andert 
sich nur die Reihenfolge der gerade Qbertragenen und in das Bild eingefugten 
Pixelgruppen. Am oben beschriebenen Prinzip der Rekonstruktion des Bildes 
andert sich jedoch nichts. 
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Urn den zeitlichen Anderungen des Bildinhalts Rechnung zu tragen, konnen 
jedoch noch zusatzliche Arrays (mit der GroBe des Bildarrays) erzeugt werden. 
Diese konnen Angaben enthalten Qber die 

- Zeit, d.h. wann wurde ein Pixelwert zuletzt berechnet bzw. ubertragen 

- Berechnungsgrundlage. Welche ubertragenen Pixel wurden zur Berechnung 
des Pixelwertes benutzt 

- Wahrscheinlichkeit/Genauigkeit. Wurde ein Pixelwert ubertragen oder 
berechnet; falls er berechnet wurde wie groB ist die Varianz der Pixelgruppen 
aus denen der neue Wert berechnet wurde? 

- Abweichung von schon kalkulierten Pixelwerten mit dann ubertragenden 
Pixelwerten 

Aus diesen GroBen lassen sich dann Bildregionen bestimmen in denen haufig 
Pixelgruppenanderungen vorkommen. Benachbarte Pixelgruppen, oder auch 
komplette Bereiche werden in aller Regel ahnlichen Veranderungen, z.B. 
Helligkeitsanderungen, Farbanderungen unterKegen. Durch Auswertung dieser 
Anderungen lassen sich in aller Regel Objekte und ihr dynamisches Verhalten 
bestimmen, z.B. Gegenstand der sich im Video bewegt. GleichmaBige 
Anderungen bezogen auf das gesamte Bildarray konnen zum Beispiel auf einen 
Kameraschwenk hinweisen. Werden diese Informationen z.B. mit Hilfe von 
lemfahigen neuronalen Netzen ausgewertet, lassen sich sehr leicht 
Abschatzungen Qber die Pixelwerte von noch nicht Obertragenden Pixelgruppen 
machen; Treffen diese Abschatzungen zu, konnen Pixelgruppen identifiziert 
werden, die besonderen Einfluss auf Veranderungen auf Objekte besitzen. 
Werden diese Pixelgruppen von der Quelle erneut angefragt, ist es mdglich 
Objektbewegungen mit nurwenig Pixelgruppen genau zu bestimmen und 
vorherzusagen. In der Praxis bedeutet es, dass obwohl nur eine niedrige 
Bandbreite zur Verfugung stent, niedrige Verzogerungszeiten auftreten, die 
wesentlich geringer sind als bei Frame-basierten Verfahren. Die Auswertung 
der zusatzlich im Empfanger generierten Arrays erlaubt auch eine gute 
Objekterkennung. 
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In Abhangigkeit der verf ugbaren Ressourcen konnen neben der reinen 
Priorisierung durchdie Farbwerte benachbarter Pixel auch Abhangigkeiten der 
Lage der prjorisierten Pixelgruppen herangezogen werden. 
Eln Anwendungsfall soil dies verdeutlichen. Betrachtet man auf See einen 
Horizont, erscheint dieser wie eine waagerechte Linie. Es 1st zu erwarten, dass 
die Prioritatswerte jeder Pixelgruppe entlang diesem Horizont in etwa gleich 
sind. In diesem Fall besitzen die am weitesten auseinander liegenden Punkte 
der Horizontlinie die groBte Aussagekraft. Durch Ubertragung der auBersten 
linken und auBersten rechten Pixelgruppen des Horizonts ist es schon moglich, 
diesen wieder zu rekonstruieren. 

Eine weitere Moglichkeit der Priorisierung liegt in der Hoherbewertung 
bestimmter Bildbereiche. Ein solcher Bildbereich konnen zum Beispiel 
Gesichter sein. Obwohi Gesichter auf Urlaubsvideos manchmal nur einen 
prozentual kleinen Bereich des gesamten Bildes ausmachen, stehen sie beim 
Betrachten meist im Mittelpunkt. Ein solches menschliches Sehverhalten kann 
durch entsprechende Priorisierung der Pixelgruppen dieser Bildbereiche 
(Gesichtsbereiche) berQcksichtigt werden. Ebenso konnen die Pixelgruppen im 
Zentrum des Videos eine entsprechend hohere Priorisierung erfahren. 

Eine weitere Moglichkeit der Optimierung besteht in der Tatsache, dass sich 
benachbarte Pixelgruppen gegenseitig iiberiagern. Durch geschickte Auswahl 
der Pixelgruppen kann vermieden werden, dass sich iiberlagemde Pixelwerte 
benachbarten Pixelgruppen wiederholt ubertragen werden. 

Der Aufwand der zum Dekodieren verwendet wird, ist frei skalierbar. Bei 
kleineren Displays (z.B. Handys ) ist sicherlich weniger Rechenaufwand 
notwendig als die Wiedergabe auf einem hochauflosendem GroBbildschirm, 
obwohi beide den gleichen Quelldatenstrom, bestehend aus den priorisierten 
Pixelgruppen, verwenden. Diese flexible Skalierung erlaubt es Herstellern von 
Endgeraten, spezielle Optimierungen, z.B. Anzahl der Objekte, Historie der 
Bildanderungen, in ihre Gerate einzubauen. Fur die Hersteller ergibt sich eine 
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Moglichkeit, sich von ihren Mitbewerbern abzuheben, ohne die Kompatibilitat 
der Videoubertragung zu gefahrden. 
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Patentanspriiche 

1 . Verfahren zur Komprimierung von Videodaten, die aus einem Array 
einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pixel (0-41 9) einen sich 
zeitlich verandemden Pixelwert aufweist, der Farb- oder 
Helligkeitsinfprmation des Pixels beschreibt, 

gekennzeichnet durch die Schritte: 

a) Ermitteln eines Prioritatswertes fur jedes Pixel des Arrays durch 
Berechnen eines Pixeldifferenzwertes anhand des jeweils momentanen 
Pixelwerts des Pixels in Bezug auf die momentanen Pixelwerte einer zuvor 
festgelegten Gruppe von benachbarten Pixeln; 

b) Zusammenfassen der fur die Berechnung des Prioritatswertes 
hinzugezogenen Pixel zu einer Pixelgruppe (P0-P4), 

c) Sortieren der Pixelgruppen anhand ihres Prioritatswertes und Ablegen 
in einem Prioritatenarray; und 

d) Abspeichern und/oder Obertragen der Pixelgruppen entsprechend ihrer 
Prioritat im Prioritatenarray, 

wobei die Schritte a) bis d) standig wiederholt werden, wobei die 
Prioritatswerte der Pixelgruppen stets neu ermittelt werden und das 
Prioritatenarray zu jedem Zeitpunkt die nach aktuellen Prioritaten sortierten 
Pixelgruppen enthalt. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der 
Pixeldifferenzwert sich aus der Differenz des Pixelwerts eines betrachteten 
Pixels zum Pixelwert jedes seiner betrachteten Nachbarpixel der 
Pixelgruppe ergibt. 

3. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass zu Beginn die KenngroBen des Videobildes, wie 
Bildbreite in Pixel, Bildhohe in Pixel und Form der verwendeten Pixelgruppe 
abgespeichert und/oder Obertragen werden. 
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4. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass fur jede Pixelgruppe die Position eines Bezugspixels 
(PO), dessen Pixelwert, sowie der Pixelwert der Qbrigen Pixel (P1-P4) der 
Pixelgruppe abgespeichert oder ubertragen wird. 

5. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass Pixelgruppen bestimmter Bildbereiche eine erhohte 
Prioritat zugeordnet wird. 

6. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass die Pixelwerte der Pixelgruppen durch 
Lauflangencodierung oder andere Kompressionsverfahren welter 
komprimiert werden. 

7. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass die laufende Ermittlung und Ausgabe der nach 
Prioritaten sortierten Pixelgruppen bereits durch ein verwendetes 
bildaufriehmendes System, wie z.B. Scanner, CCD-Kamera, erfolgt. 

8. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass Framegrabber Karten (bzw. Softwarelosungen) 
eingesetzt werden konnen, urn auch vorliegendes Videomaterial 
verschiedenster Formate (z.B. AVI, MPEG-1, MPEG-2, MPEG-4,...) zu 
konvertieren. 

9. Verfahren zur Rekonstruktion von Videodaten, die mit dem Verfahren 
gemaB den Anspruchen 1 bis 8 komprimiert wurden, 

dadurch gekennzeichnet, 

dass die jeweils eingelesenen Pixelwerte in Form eines Bildarrays 
dargestellt werden, wobei die noch nicht Qbertragenden Pixel aus den 
schon Qbertragenden Pixeln berechnet werden. 



WO 02/078352 



20 



PCT/DE02/00987 



10. Verfahren nach Anspruch 9, 
gekennzeichnet durch die Schritte: 

a) Generieren eines leeren Bildarrays aus den eingelesenen KenngrdBen 
des komprimierten Videobildes, 

b) Kontinuierliches Einlesen der abgespeicherten bzw. (ibertragenen 
Pixelgruppen und Einfugen in das Bildarray, 

c) Bilden von Dreiecken durch Verbinden von jeweils drei unmittelbar 
benachbarter Pixelgruppen durch mindestens eine Linie, 

d) Ausfullen der die Flache der Dreiecke bildenden Pixel durch einen aus 
den das Dreieck'bildenden Pixelgruppen berechneten Farb- und/oder 
Helligkeitsverlauf, und 

e) Wiederholen der Schritte b) bis e) 

11. Verfahren nach einem der Anspruche 9 oder 10, dadurch gekennzeichnet, 
dass die Dreiecke in ihrer GroBe skalierbar und an unterschiedliche 
Bildaufldsungen anpassbar sind. 

12. Verfahren nach einem der Anspruche 9 bis 11, dadurch gekennzeichnet, 
dass zusatzliche Arrays erzeugt werden konnen, die Angaben enthalten 
uber die: 

- Zeit, d.h. wann wurde ein Pixelwert zuletzt berechnet bzw. ubertragen, 

- Berechnungsgrundlage, d.h. welche ubertragenen Pixel wurden zur 
Berechnung des Pixelwertes benutzt, 

- Wahrscheinlichkeit/Genauigkeit, d.h. wurde ein Pixelwert ubertragen oder 
berechnet; falls er berechnet wurde, wie groB ist die Varianz der 
Pixelgruppen aus denen der neue Wert berechnet wurde, 

- Abweichung von schon kalkulierten Pixelwerten mit dann Obertragenden 
Pixelwerten. 

13. Verfahren nach einem der Anspruche 9 bis 12, dadurch gekennzeichnet, 
dass anhand der gemaB Anspruch 12 erzeugten Arrays, auf einfache Art 
Bewegungsprofile und Objekte erkannt werden konnen. 
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Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass durch 
Auswertung der Bewegungsprofile und Objekte flQssige Bewegungen mit 
extrem niedrigen Latenzzeiten, trotz niedrigster Obertragungsraten erzielt 
werden konnen. 
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@ Verfahren zur Komprimierung und Dekomprimierung von Videodaten 

© Die Erfindung betrifft ein Verfahren zur Komprimierung 

und Dekomprimierung von Videodaten, die aus einem Ar- 
ray einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pi- 
xel einen sich zeitlich verandernden Pixelwert aufweist, 

der Farb- oder Helligkeitsinformation des Pixels be- 

schreibt. Erfindungsgemaft wird jedem Pixel eine Priori- 

tat zugeordnet und die Pixel entsprechend ihrer Priorisie- 

rung in einem Prioritatenarray abgelegt. Dieses Array ent- 

halt zu jedem Zeitpunkt die nach der Priorisierung sortier- 

ten Pixelwerte. Entsprechend der Priorisierung werden 

diese Pixel und die fur die Berechnung der Priorisierung 

benutzten Pixelwerte ubertragen bzw. abgespeichert. Ein 

Pixel bekommt eine hohe Prioritat, wenn die Unterschie- 

de zu seinem benachbarten Pixel sehr grofc sind. Zur Re- 

konstruktion werden die jeweils aktuellen Pixelwerte auf 
■ dem Display dargestellt. Die noch nicht ubertragenden Pi- 
t xel werden aus den schon ubertragenden Pixeln berech- 
« net. 
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Beschreibung 

[0001] Die Erfindung besBwbt ein Verfahren zur Komprimierung und DekompBRrung von Videodaten 
[0002] Videos erzeugen groBe Datenmengen. Um diese Datenmengen effektiv zu iibertragen und abzuspeichern, ist es 
5 sinnvoll diese zu komprimieren. 

[0003] Nach der heutigen Stand der Technik werden Videosignale in einer schnellen Abfolge von Einzelbildern aufge- 
nommen und wiedergegeben. Beim Fernsehen (PAL-Norm) sind dies 25 Bilder pro Sekunde, bzw. 50 Halbbilder. Bei di- 
gitalen Aufnahmen sind das bis ca. 30 Bilder pro Sekunden. Jedes Bild wird in Zeilen zerlegt, und zunachst sequentiell 
iibertragen. 

10 [0004] Bisherige Komprimierungsmethoden basieren im wesentlichen auf der Reduzierung der Auflosung, der Farb- 
tiefe und der Verringerung der Anzahl der Bilder pro Sekunde. Bei der digitalen Kompression, z. B. den MPEG-Verfah- 
ren, werden anstelle von kompletten Bildern im wesentlichen die Differenzbilder, d. h. die Unterschiede der einzelnen 
Bildpunkte (Pixel) im Vergleich zum vorherigen Bild, anstelle der Komplettbilder iibertragen. Der neueste Standart fur 
Videokodierung ist MPEG4. 

L5 [0005] MPEG ist die Abkurzung fur "Motion Pictures Expert Group". Von dieser Gruppe wurden bzw. werden Datei- 
formate und Verfahren zum platzsparenden Komprimieren und Speichern von Video- bzw. Multimediadaten (Video, 
Bild- und Tondaten) in hoher Qualitat festlegt. Der MPEG-Standard unterteiit sich inzwischen in MPEG-1, MPEG-2, 
MPEG-3 und MPEG-4, wobei der MPEG-3-Standard mittlerweile in MPEG-2 integriert wurde. 

[0006] Um die riesige Datenmenge von Filmen mit "normalen" Computern verarbeiten und transportieren zu konnen, 

20 werden nur die Veranderungen zum Vorgangerbild abgespeichert. Das MPEG-Format speichert in regelmaBigen Abstan- 
den von typischerweise zwolf Bildern sogenannte Intra-Frames ab; das sind JPEG- komprimierte Einzelbilder. Die Bilder 
zwischen diesen I-Frames werden nach Moglichkeit nicht komplett abgelegt. Vielmehr speichert MPEG, wie man sie 
durch Verschieben von Teilen aus vorangehenden oder nachfolgenden Bildern zuriickgewinnen kann. Dazu werden auch 
vorausschauende "Predicted Frames" und "B-Frames" (Bi-directionale Frames) verwendet. Da das aber nie perfekt 

25 klappt, werden zusatzlich pro Bild die verbleibende Abweichung noch JPEG-kodiert abgespeichert. Mit dieser Methode 
lasst sich der Datenaufwand fur einen Video-Film um etwa 99% verringern. Die rnogliche Kompression geht bis 200 : 1. 
[0007] MPEG-1 wurde fur fliissige Video- Wiedergaben entworfen. Die MPEG-1 -Komprimierung bzw. Dekomprimie- 
rung war urspriinglich ein hardwareabhangiges Verfahren. Es ist allerdings mittlerweile, dank der schnellen Prozessoren, 
auch ein Softwaredekomprimieren moglich. 

30 [0008] Der wesentliche Unterschied zwischen MPEG- 1 und MPEG-2 besteht darin, daB MPEG-2 besser mit dem beim 
Femsehen eingesetzten Zeilen sprung verfahren (Interlace) umgehen kann. Das Geheimnis von MPEG-2 liegt in der 
Kompression auf hochster Qualitatsstufe, so daB Filmmaterial nahezu 1 zu 1 in Studioqualitat bearbeitet und editiert wer- 
den kann. Konsequenterweise etablierte sich MPEG-2 zu einem Standard. Bei einer reinen I-Framecodierung lasst sich 
MPEG-2 sogar im Schnittbetrieb einsetzen. 

35 [0009] Der Teil des MPEG- 3 -Standard, der fur High Definition TV-Qualitat (HDTV) vorgesehen war, wurde mittler- 
weile in den MPEG-2-Standard impiementiert. 

[0010] MPEG-4 ist eine Weiterentwicklung des MPEG-2-Formats und befindet sich seit 1996 in der Entwicklung. Ob- 
wohl MPEG-4 urspriinglich als ein Codierungsstandard fiir audiovisuelle Daten mit sehr niedriger Bitrate gedacht war, 
diente die Entwicklung weit mehr Zwecken als lediglich dem Streaming von linearen Mediendaten bei Internet- und 
40 drahtlosen An wendungen. MPEG-4 stellt z. B . effiziente Mechanismen zur Komprimierung und Distribution interaktiver 
Medieninhalte bereit. AuBerdem verfugt MPEG-4 iiber 3D-Potentiale, um kiinstliche InteUigenzen zu visualisieren oder 
Avantare darzustellen, z. B. im Rahmen von Videokonferenzen. 

[0011] Die Kompressionsrate ist bei MPEG-4 hoher als bei MPEG-2, wobei "Sprites" besser komprimiert werden kon- 
nen, weil dem Codier-Mechanismus dafur wesentlich mehr Zeit zur Verfugung steht. Eventuell kann dabei sogar auf Wa- 

45 velets umgeschaltet werden. Die Skriptsprache ermoglicht es, in wenigen Bytes Operationen wie "verschieben" wesent- 
lich schneller durchzufuhren, als es die digitalisierte komprimierte Form der gleichen Operation ermoglichen wiirde. Mit 
Hilfe dieser "Sprites" konnen beliebig konturierte Standbilder iiber sich bewegende Bilder geschoben werden. 
[0012] Die Aufgabe der Erfindung liegt in der Schaffung eines Verfahrens zur Komprimierung von Videodaten, wel- 
ches eine einfache und flexible Anpassung an unterschiedliche Ubertragungsraten bzw. -bandbreite, Bildauflosungen und 

50 Di splay groBen erlaubt. 

[0013] Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1 geiost. 

[0014] Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteranspruchen angegeben. 
[0015] Vorzugsweise erfolgt eine parallele Verarbeitung der Videoinformationen im Videoaufnahmechip. Die parallele 
Verarbeitung dient dem Zweck, zunachst die wichtigsten Pixel zu ermitteln und diese entsprechend einer Priorisierung in 
55 ein Prioritatenarray abzulegen. Dieses Array enthalt zu jedem Zeitpunkt, die nach der Priorisierung sortierten Pixelwerte. 
Entsprechend der Priorisierung werden diese Pixel, und die fur die Berechnung der Priorisierung benutzten Pixelwerte, 
iibertragen bzw. abgespeichert. Ein Pixel bekornmt eine hohe Prioritat, wenn die Unterschiede zu seinen benachbarten 
Pixel sehr groB sind. 

[0016] Zur Rekonstruktion werden die jeweils aktuellen Pixelwerte auf dem Display dargestellt. Die noch nicht uber- 

60 tragenden Pixel werden aus den schon ubertragenden Pixel berechnet. 

[0017] Entsprechend der Rechenleistung, der Ubertragungsbandbreite und der GroBe des Displays konnen unter- 
schiedliche Verfahren zur Berechnung der noch nicht ubertragenen Pixel eingesetzt werden. Steht eine sehr groBe Band- 
breite zur Verfugung kann eine einfache lineare Interpolation durchgefuhrt werden. Steht nur eine sehr kleine Bandbreite 
zur Verfugung, kann dies bei der Ubertragung der priori sierten Pixel berucksichtigt werden. 

65 [0018] Durch den Historienverlauf der ubertragenden Pixel konnen Objekte identifiziert, und damit eine Bewegungs- 
abschatzung dieser Objekte durchgefuhrt werden. 

[0019] Der Grundgedanke des Verfahrens basiert auf der priorisierten Pixelspeicherung bzw. Ubertragung. Bei der Ab- 
speicherung bzw, der Videoubertragung miissen femer die zeitlichen und positionellen (innerhalb des Bildarrays) Ab- 
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richtigt werden. 

lelgruppen ubertragen, die die 



hochste Priori tat haben, uncRSKer noch nicht ubertragen worden sind. Die Rachen^Ri. die Pixelwerte zwischen den 
schon ubertragenden Pixelgruppen werden aus den schon iibertragenden Pixelgruppen berechnet, z. B. durch Interpola- 
tion. Bei hoherer Auflosung (groBeres Bildarray) steigt der erreichbare Kompressionsfaktor, da bei naturlichen Aufnah- 5 
men grbBere Rachen meist einen gut vorhersagbaren (gleichmaBigen) Farbverlauf haben, z. B. blauer Himmel 
[0021] Zu beachten ist auch, dass jeweils die exakten Pixelwerte ubertragen werden. Falls erforderlich erlaubt dies Ver- 
fahren eine verlustfreie Ubertragung der Videoinformationen. 

[0022] Die Widerherstellung bzw. Rekonstruktion der Videodaten beruht auf Abschatzungen ahnlich des menschlichen 
Sehverhaltens. Der Mensch nimmt Reize war, aber die Interpretation was er auf diesem Biid erkennt, findet erst in sei- to 
nem Gehirn statt Die Reize entsprechen den ubertragenen Pixelgruppen, die Interpretation entspricht dem Ausfiillen der 
Rachen zwischen den noch nicht ubertragenen Pixelgruppen. 

[0023] Um dieses zu realisieren, konnen zusatzliche Arrays angelegt werden. Dies sind unter anderem ein Array in 
welchem die Information vorhanden ist, aus welchen Pixelgruppen der Pixelwert an der aktuellen Position ermitteit 
wurde. Weitere Informationen konnen sein, wann diese Werte berechnet worden sind, aus welchen Pixelgruppen diese 15 
berechnet bzw. ubertragen worden sind. Auch eine Einschatzung iiber die Genauigkeit der Werte (z. B. Berechnung aus 
direkt benachbarten Pixel, geringe Varianz der zur Berechnung zugrunde liegenden Rxel) kann als zusatzliche Informa- 
tion ausgewertet werden. 

[0024] Das beschriebene Verfahren erlaubt eine wesentlich einfachere Anpassung des Videodatenstroms an unter- 
schiedliche DisplaygroBen und Bildauflosungen. 20 
[0025] Ein weitere Vorteil ist, dass durch die beschriebene Art der Kodierung des Videos nicht automatisch festgelegt 
wird, mit welchen Algorithmen das Video dekodiert werden muss. Dies wird durch tjbertragung der priorisierten Rxel- 
werte erreicht, die entgegen bei anderen Verfahren keine Mittelwertbildung erfahren. Hersteller haben damit die Mog- 
lichkeit Low bis High Cost Endgerate zu entwickeln und sich durch unterschiedliche Algorithmen vom Mitkonkurrenten 
hervorzuheben. 25 
[0026] Die angestrebte massiv-parallele Verarbeitung der Videodaten in einem speziell dafiir entwickelten Chip erlaubt 
es, extrem niedrigen Taktraten zu verwenden, was sich giinstig auf den Strom verbrauch auswirkt. 
[0027] Durch Priorisierung konnen bestirnmte Bereiche des Videos (z. B. Lippen bei Nachrichtensprechern) mit einer 
hoheren Prioritat und folglich einer besseren Auflosung ubertragen werden. 

[0028] Das Verfahren erlaubt es, aus dem Datenstrom des Videos fiir unterschiedliche Endgerate die optimalen Teilda- 30 
tenstrome herauszufiltern, ohne das dies bei der Videoaufnahme berucksichtigt werden muss. 

[0029] Ein Ausfiihrungsbeispiel der Erfindung wird anhand der Zeichnungsfiguren naher erlautert. Aus den Zeichnun- 
gen und deren Beschreibung ergeben sich weitere Merkmale, Vorteiie und Anwendungsmoglichkeiten der Erfindung. Es 
zeigt: 

[0030] Fig. 1 Darstellung eines Bildarrays aus 20 x 21 Pixeln; 35 
[0031] Fig. 2 Darstellung verschiedener Formen von Rxelgruppen; 
[0032] Fig. 3 Bildarray mit bewegtem Objekt zu einem Zeitpunkt tl; 
[0033] Fig. 4 Bildarray mit bewegtem Objekt zu einem Zeitpunkt t2; 
[0034] Fig. 5 Bildarray mit bewegtem Objekt zu einem Zeitpunkt t3; 

[0035] Fig. 6 Neu generiertes Bildarray mit eingefiigten Rxelgruppen in der Biidecke; 40 

[0036] Fig. 7 Ausfiillen der Rachen zwischen den bereits eingefiigten Rxelgruppen; 

[0037] Fig. 8 Einfugen weitere Pixelgruppen und Ausfiillen der dazwischenliegenden Rachen. 

[0038] Nachfolgend wird anhand eines exemplarischen Beispiels eine Komprimierung • und Dekomprimierung eines 

Videosignals beschrieben. 

[0039] Folgende Annahmen werden getroffen: 45 
Als Videoquelle steht ein derzeit ubliches Videosignal zur Verfugung (z. B. PAL oder NTSC). Die Videoinformation 
kann mit einer handelsiiblichen elektronischen Einrichtung (z. B. Framegrabber-Karte) ausgelesen werden. Zur Veran- 
schaulichung des Verfahrens wird im folgenden ein minimi ertes Bildarray mit einer Breite von 20 Rxel und einer Hone 
von 21 Pixel verwendet (Fig. 1). Jedes Pixel des Arrays wird durch einen 32 Bit Wert (Rxelwert) reprasentiert. Die 32 
Bit sind z. B. in 4 Werte (Transparent, Rot, Grtin, Blau) mit jeweils 8 Bit aufgeteilt. Die Position der Pixel ist durch eine 50 
Integer Zahl festgelegt. Das Bildarray wird in der in Fig. 1 gezeigten Weise von 0 bis 419 durchgezahlt. Die Zahl inner- 
halb jedes Kastens entspricht der Position des zugehorigen Pixels. Zwischen der Quelle und Senke besteht eine UDP 
(User Datagramm Protocol) Verbindung. Uber diese werden dann die komprimierten Videodaten geschickt. 
[0040] Die Komprimierung des Videosignals erfolgt folgendermaBen: 

Das Verfahren beruht darauf, dass standig eine Priorisierung der einzelnen Rxel des Videosignals erfolgt, wobei die R- 55 
xel entsprechend ihrer Priorisierung in ein Array abgelegt werden. Dieses Array enthalt zu jedem Zeitpunkt, die aktuel- 
len, nach Prioritat sortierten Pixelwerte. Ein Pixel bekommt eine hohe Prioritat, wenn die Unterschiede zu seinen benach- 
barten Pixel sehr groB sind. Das Pixel wird zusammen mit seinen fur die Berechnung verwendeten Nachbarpixeln zu ei- 
ner Pixeigruppe zusammengefasst. Entsprechend der Priorisierung werden diese Rxelgruppen ubertragen bzw. abge- 
speichert. 60 



[0041] Der Framegrabber hat zu jedem Zeitpunkt das jeweils aktueile Bild in seinem Bildarray das wie in Fig. 1 ge- 
zeigt beispielsweise ein 20 x 21 Rxel groBes Bildarray sein kann. Jedes Pixel ist durch seine Position (0 bis 419) und sei- 65 
nen Pixelwert (Farb- bzw. Helligkeitswert) definiert. 



Bildarray einlesen 
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jSk Pixelgruppen festlegen /^^k 

[0042] Zuvor wurde festgSegt, welche benachbarten Pixel eine Pixelgruppe bildS^Mtit pO ist dabei dasjenige Pixel 
bezeichnet, das die Position der Pixelgruppe angibt und fur das die Priori tat berechnet wird. Die relative Position der ub- 

5 rigen Pixel, z. B. pl-p4, einer Pixelgruppe zum Bezugspixel pO ergibt sich aus der verwendeten Art (Form) der Pixel- 
gruppe. In Fig. 2 sind exemplarisch einige mbgliche Formen von Pixelgruppen dargestellt. Es konnen sowohl zum Be- 
zugspixel pO symmetrische als auch unsymmetrische Pixelgruppen gebildet werden. Welche Art von Pixelgruppe ver- 
wendet wird, ist u. a. von der Art des Bildmaterials und der angestrebten Kompressionsrate abhangig. In der Regel ist der 
zu erreichende Kompressionsfaktor umso groBer, je mehr Pixel eine Pixelgruppe umfasst. Zum kodieren und dekodieren, 

10 d. h. komprimieren und dekomprirnieren des Videobildes muss die gleiche Form von Pixelgruppen verwendet werden. 

Prioritatswerte ermitteln 

[0043] Fur jedes Pixel pO einer Pixelgruppe wird nun die Prioritat in Bezug auf dessen Pixelgruppe berechnet. Dabei 
15 wird jedes Pixel 0-419 des Bildes einmal zum Bezugspixel pO. Dabei ist erfindungsgemaB vorgesehen, dass die Berech- 
nung der Prioritatswerte der Pixel soweit wie moglich im Rahmen einer parallelen Datenverarbeitung durchgefuhrt wird. 
Optimal ist, wenn die Berechnung der Prioritaten aller Pixel des Bildes gleichzeitig erfolgt. Das es sich um ein Videosi- 
gnal handelt, werden die Prioritatswerte aller Pixel standig neu berechnet, da sich der Bildinhalt laufend andert. Die Viel- 
zahl der Pixelgruppen, insbesondere die mit niedrigerer Priorisierung, werden sich aber mit einer hohen Wahrscheinlich- 
20 1 keit nicht andern. 

[0044] Zur Berechnung der Prioritat kann es verschiedene Rechenmethoden geben. Exemplarisch wird hier eine li- 
neare Methode verwendet. 

[0045] Dazu werden die einzelnen Pixelwerte P0, PI, P2, P3 und P4 einer Pixelgruppe in ihre Farbanteile Rot, Griin 
und Blau zerlegt. Jeder dieser Farbwerte wird durch 8 Bit reprasentiert. Fiir jede Farbe eines jeden Pixels P1-P4 wird nun 
25 ein Farbdifferenzwert in Bezug auf P0 ermittelt, z. B. P0_rot-Pl_rot, P0_rot-P2_rot, . . ., P0_blau-P4_blau. Die absolu- 
ten Farbdifferenzwerte werden addiert und durch die Anzahl der Farben und Anzahl der betrachteten Pixel geteilt. Das 
Ergebnis ist ein Prioritatswert fiir die betrachtete Pixelgruppe, Dieser Prioritatswert ist umso hoher, je unterschiedlicher 
die Farbwerte der einzelnen Pixel der Pixelgruppe sind. 

[0046] Weitere Methoden zur Ermittlung des Prioritatswert sind die Benutzung von Grauwerten oder der Maximal wert 
30 einer Farbdifferenz einer Farbe. Da der Prioritatswert spater selbst nicht ubertragen, bzw abgespeichert wird, hat das 
Verfahren zur Ermittlung des Prioritatswert keinen direkten Einfluss auf die Dekodierung. 

[0047] Durch diese Priorisierung wird erreicht, dass Bildbereiche, die einen groBen Farb- oder Kontrastwechsel auf- 
weisen, wie z. B. Kanten, eine hohe Prioritat erhalten, und relativ gleichbleibende Biidinhalte, wie z. B. blauer Himmel, 
eine Niedrige. 

35 

Prioritatswerte sortieren 

[0048] In diesem Schritt werden die Prioritatswerte der GroBe nach absteigend sortiert. Die Sortierung erfolgt nach Er- 
mittlung jedes neuen Priori tatswertes Fiir jeden Zeitpunkt besitzt man somit eine nach Prioritaten geordnete Liste von Pi- 
40 xelgruppen die absteigend sortiert ist. Es ist anzustreben, dass entsprechende Bildaufnehmer (CCD-Chips) entwickelt 
werden, welche unmittelbar eine solche nach Prioritaten geordnete Liste bereitstellen. Wird das zu komprimierende Bild 
direkt mit einer CCD Kamera oder einem Scanner aufgenommen, besteht prinzipiell die Moglichkeit, aus dem in der Ka- 
mera/dem Scanner vorhandenen, bildbearbeitenden Mikrochip direkt ein nach Prioritaten sortiertes Array zu erhalten. 
Somit wird beim komprimieren ein wesentlicher Teil des Rechenaufwandes eingespart. 

45 

Aktualisieren der Prioritatswerte 

[0049] Im Gegensatz zu Standbildern (z. B. Fotografien) ergibt sich bei Videoinformationen eine standig wechselnde 
Prioritatsanderung der Pixelgruppen, z, B, bei Kameraschwenk oder bewegten Objekten. Um dies zu verdeutlichen ist in 
50 den Fig. 3 bis 5 ein Videobildarray zu verschiedenen Zeitpunkten tl bis t3 dargestellt, wobei sich ein Objekt von rechts 
nach links verschiebt. 

[0050] GemaB Fig. 2 enthalt das Bild zum Zeitpunkt tl ein Objekt, das die Pixel 156, 157, 176, 177, 191-197, 
211-217, 231-237, 256, 257, 276, 277 ausfullt. Fur die Berechnung der Prioritaten der Pixel (0-419) des Bildes wird die 
in Fig. 2 dick umrandeten Form der Pixelgruppe (links unten) verwendet. Es ergibt sich eine Prioritatsverteilung der Pi- 

55 xel, wie sie in der weiteren Beschreibung des Verfahrens beispielhaft in Tabelle 1 zum Zeitpunkt tl dargestellt ist. Die 
Tabelle enthalt jeweils nur die Nummer des Bezugspixels (pO) einer Pixelgruppe. Diejenigen Pixelgruppen, die sich im 
Randbereich des Objektes befinden und bei denen das jeweilige Bezugspixel (pO) den groBten Unterschied zu den tibri- 
gen Pixeln der Pixelgruppe aufweist, bekommen die hochste Prioritat A. Die Pixelgruppen, deren Bezugspixel einen ge- 
ringeren Unterschied zu den ubrigen Pixeln der Pixelgruppe aufweisen bekommen eine mittlere Prioritat B und diejeni- 

60 gen Pixelgruppen, deren Bezugspixel gar keinen Unterschied zu den ubrigen Pixeln der Pixelgruppe aufweisen die nied- 
rigste Prioritat C. 
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Prj^it A 


Prioritat B |H 


Prioritat C 


Zeitpunkt t1 


175,255,231,191, 
156,157,277,276 


177,197,217,237,257, 
176,256,211,192, ... 


0,1,2,3,4,5,6,7,8,9,10, 
11, 12,13,14,15, ... 


Zeitpunkt t2 


189,173,154,155, 
274,275,253,229 


175.195,215,235,255, 
190,191,192,193, ... 


0,1,2,3,4,5,6,7,8,9.10, 
11, 12,13,14,15, ... 


Zeitpunkt t3 


187,171,227,251, 
152,153,272,273 


173,193,213,233,253, 
188,189,190,191, ... 


0,1,2,3,4,5,6,7,8,9,10, 
11,12,13,14,15,... 
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[0051] Im Rahmen der Komprimierung werden nun zunachst die mit Prioritat A versehenden Pixelgruppen ubertragen 
bzw. abgespeichert, dann die Pixelgruppen mit Prioritat B und schlieBlich die Pixelgruppen mit der Prioritat C. Da sich 
das Objekt zwischenzeitlich bewegt und in Bezug zu Fig. 3 in den Fig, 4 und 5 eine andere Position einnimmt, andern 
sich die Prioritaten der einzelnen Pixelgruppen. Die Priori tatenliste wird aktualisiert und es wird so fort mit der Ubertra- 
gung der aktuellen Pixelgruppen mit der hochsten Prioritat fortgefahren. 

[0052] Die neu berechneten Prioritaten der Pixelgruppen fur die Zeitpunkte t2 (Fig. 4) und t3 (Fig. 5) sind in Tabelle 1 
dargestellt. 

[0053] Somit konnte eine mogliche komprimierte Ubertragung eines Videosignals gemaB Tabelle 1 folgendermaBen 25 
aussehen: 

Zeitpunkt tl: Pixelgruppen rnit der hochsten Prioritat A werden ubertragen: 
175, 255, 231, 191, 156, 157, 277, 276, 177, 197, 217 

Zum Zeitpunkt t2 werden neue Prioritaten erkannt. Andere Pixelgruppen erhalten hochste Prioritat A. Es wird mit der 
Ubertragung der neuen Prioritat A fortgefahren: 
189, 173, 154, 155, 274, 275, 253, 229 

Danach folgt die Ubertragung der Pixelgruppen mit Prioritat B: 
175, 195, 215, 235, 255, 190, 191, 192, 193, . . . 

Zum Zeitpunkt t3 werden wieder neue Prioritaten erkannt. Andere Pixelgruppen erhalten hochste Prioritat A. Es wird mit 
der Ubertragung der neuen Prioritat A fortgefahren: 
187, 171, 227, 251, 152, 153, 272, 273 

[0054]* In einem zusatzlichen Array wird iiberpruft, welche Pixelgruppen bereits ubertragen worden sind. Wurde eine 
Pixelgruppe schon ubertragen, braucht Sie nicht ein 2tes mal ubertragen werden, sofem sich ihre Prioritat nicht zwi- 
schenzeitlich geandert hat. Bestimmte Bildregionen, z. B. Gesichter, konnen erkannt und bevorzugt ubertragen werden. 
Zusatzlich konnen von dem Empfanger auch bestimmte Pixelgruppen angefordert werden (z. B. bei Erkennung von 
Obertragungsfehleren durch fehlerhaften CRC Check). Derart angeforderte Pixelgruppen konnen dann eine hohe Priori- 
tat erhalten, so dass Sie sofort Ubertragen wird. 
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Pixelgruppen abspeichern/ubertragen 

[0055] Die Begriffe "abspeichern" und "ubertragen" werden nachfolgend synonym verwendet. Zunachst werden einige 
KenngroBen des Videobildes abgespeichert bzw. ubertragen. Exemplarisch aufgefuhrt sind das z. B.: 



45 



- Bildbreite (in Pixel) 

- Bildhohe (in Pixel) 50 

- Verwendete Form der Pixelgruppe (nicht notwendig wenn nur eine Form standardisiert ist) 

[0056] AnschlieBend werden die einzelnen Pixelgruppen entsprechend ihrer Prioritat abgespeichert bzw. ubertragen, 
d. h. Pixelgruppen mit hoher Prioritat werden zuerst gespeichert (und spater auch zuerst ausgelesen). 

[0057] Dazu wird zunachst der Positionswert des Bezugspixels pO der Pixelgruppe abgespeichert. AnschlieBend wer- 55 
den die Pixel werte P0, PI , P2, P3, P4 abgespeichert. 

Beispiel 

[0058] Positionswert P0, Pixelwerte P0, PI, P2, P3, P4; nachster Positionswert P0 (mit gleicher oder niedrigerer Prio- 60 
ritat), Pixelwerte P0, PI, P2, P3, P4, . . ., nachster Positionswert P0 (mit geringster Prioritat), Pixelwerte P0, PI, P2, P3, 
P4. 

[0059] Das Abspeichern kann durch verschiedene Methoden, die hier nur exemplarisch angesprochen werden, opti- 
miert werden. 

[0060] Es kann eine Lauflangencodierung der Pixelgruppen vorgenommen werden. Z. B. wenn in einem Bildbereich 65 
keine Rotanteile vorkommen, kann dies anstelle von 8 Bit (rot) nur mit z. B. 2 Bit ubertragen werden, oder es kann die 
Anzahi der fiihrenden Nullen ausgenutzt werden. 

[0061] Femer konnen allgemein ubliche Komprimierungsmethoden, z. B. Zip-Format, verwendet werden. 
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[0062] Durch Festlegung <a^& Grenzwertes fur die Priorisierung kann eine bestinMMjfcQualitat gewahrleistet werden. 
Z. B. kann ein Grenzwert f^HlPixeldifferenzwerte festgelegt werden unterhalb Hp die zugeordnete Pixelgruppe 
imrner den niedrigsten PriorraRwert bekommt. 

[0063] Werden zunachst die 4 Pixelgruppen der Eckpunkte iibertragen, bekommt man mit wenigen Pixelgruppen eine 
5 groBtmogliche Rache berechnet. 

Rekonstruktion (Dekomprimierung) der Videodaten 
Neues Bildarray generieren 

10 

[0064] Bei der Rekonstruktion der komprimierten Videodaten wird zunachst ein Bildarray vergleichbar mit der Dar- 
stellung in Fig. 1 erzeugt. Dazu werden die Kenndaten des Bildes eingelesen und ausgewertet. Exemplarisch sind dies 
Biidbreite, Bildhdhe und Form der zur Komprimierung verwendeten Pixelgruppe. Stimmen die Bildhohe und Bildbreite 
zwischen dem Ursprungsbild und der nun gewiinschten Darstellung (z. B. begrenztes PDA Display oder hochauflosender 
L5 Bildschirm) nicht uberein, muss entsprechend skaliert werden. Dazu werden zunachst Urnrechnungsfaktoren ermittelt 
(Bildbreite_Orginal/Bildbreite_Display und Bildhohe_Orginal/Bildh6he_Display). Diese Faktoren konnen benutzt wer- 
den um den Positionswert von dem Originalbild in den Positionswert des neuen Displays umzurechnen. 

Pixelgruppen einfugen 

20 

[0065] Wie in Fig. 6 dargestellt ist, werden entsprechend der Reihenfolge der priorisierten Pixelgruppen diese nun ein- 
gelesen. Beispielsweise werden die ersten vier Pixelgruppen mit der hochsten Prioritat in das Bildarray eingetragen. In 
Fig. 6 sind dies die Pixelgruppen an den Ecken des Bildes. Die Position des Bezugspixels pO der jeweiligen Pixelgruppe 
ist durch die schwarz unterlegten Felder 21, 38, 381 bzw. 398 bestimmt. Dieser Positionswert (pO) liegt als Integerwert in 
25 der abgespeicherten Datei vor. AnschlieBend konnen die zur jeweiligen Pixelgruppe gehorenden, dunkelgrau grau unter- 
legten Pixelwerte (pl-p4) in das neue Bildarray eingetragen werden. Die dazwischen liegenden, hellgrau markierten Pi- 
xelwerte las sen sich dann aus den dunkelgrau und schwarz markierten Feldern berechnen. Zur Berechnung werden zu- 
nachst die bekannten Pixelwerte in ihre Bestandteile Rot, Griin und Blau zerlegt. 

[0066] AnschlieBend wird der Mittelwert jeder Farbe berechnet, z. B. Pixel(22) = (Pixel(2) + Pixel(21) + Pixel(42))/3). 

30 

Flachen ausfuilen 

[0067] Nun werden die bereits vorhandenen Pixelgruppen durch Linien miteinander verbunden. Dies ist in Fig. 7 dar- 
gestellt. Es ergeben sich Dreiecke, dessen Ecken durch die entsprechenden Pixelgruppen definiert sind. Exemplarisch 

35 soil dies an der Linie zwischen Pixelposition 2 und Pixelposition 17 verdeutlicht werden. Der Farbverlauf der Linie wird 
anhand der Farbwerte der Pixel 2 und 17 berechnet. Zunachst wird die Anzahl der Pixel zwischen diesen bei den Positio- 
nen ermittelt, im Beispiel 14. AnschlieBend wird fur jede Farbe (Rot, Griin, Blau) die Farbdifferenz ermittelt, z. B. Farb- 
wert an Position 2 = 2; Farbwert an Position 17 = 30 ergibt Farbdifferenz von 28). Eine Farbwertsteigerung pro Pixel - 
vom Pixel 2 zum Pixel 17 - errechnet sich dann aus Farbdifferenz/Anzahl (Im Beispiel 28/14 = 2). 

40 [0068] Die noch iibrigen Flachen werden durch Zeichnen von horizontalen Linien ausgefullt, z. B. von Position 63 
nach Position 74, von Position 82 nach Position 93, usw. Auch hier wird ein vorlaufiger Farbverlauf zwischen den Punk- 
ten wie oben angegeben berechnet, 

[0069] Wie Fig. 8 zeigt, ergibt jede weitere hinzufugte Pixelgruppe weitere Dreiecke die entsprechend ausgefullt wer- 
den konnen. Nachdem zunachst die gesamte Rache durch Nutzung der 4 Eckpunkte (21, 38, 398, 381) ausgefullt wurde, 

45 kann nun mit jeder weiteren Pixelgruppe die Auflosung verfeinert werden. Das Hinzufugen der Pixelgruppe 87 fuhrt zu 4 
Dreiecken mit den Bezugspunkten (21, 38, 87), (21, 87, 381), (381, 87, 398), (398, 78, 38). Wird nun innerhalb eines sol- 
chen Dreieckes, z. B. 87, 381, 398, eine weitere Pixelgruppe (247) eingefugt entstehen 3 neue Dreiecke (247, 381, 398), 
(247, 87, 381) und (247, 87, 398). Jede neue Pixelgruppe erzeugt somit 3 neue Dreiecke, die ausgefullt werden konnen. 
Je mehr Pixelgruppen eingefugt sind, d. h. je rnehr Dreiecke gebildet werden, desto naher kommt der berechnete Farb- 

50 verlauf dem tatsachlichen Farbverlauf des Bildes. Da ab nun immer nur neue Dreiecke entstehen, konnen fur die Berech- 
nungen optimierte Verfahren verwendet werden. Ferner konnen die jeweils 3 neu entstehenden Dreiecke parallel berech- 
net werden, um die Bearbeitungsgeschwindigkeit zu steigern. 

[0070] Zusatzliche Mogiichkeit der Parallelisierung entsteht dadurch, wenn neue Pixelgruppen in unterschiedlichen 
Regionen des Bildes hinzugefugt werden. 
55 [0071] Bei den oben beschriebenen Verfahrenschritten wurde vorausgesetzt, dass sich der Bildinhalt zwischenzeitlich 
nicht geandert hat. Andert sich der Bildinhalt, dann werden die Prioritaten der einzelnen Pixelgruppen neu verteilt und 
die aktuellen Pixelgruppen mit der hochsten Prioritat iibertragen. Es andert sich nur die Reihenfolge der gerade ubertra- 
genen und in das Bild eingefugten Pixelgruppen. Am oben beschriebenen Prinzip der Rekonstruktion des Bildes andert 
sich jedoch nichts. 

60 [0072] Um den zeitlichen Anderungen des Bildinhalts Rechnung zu tragen, konnen jedoch noch zusatzliche Arrays 
(mit der GroBe des Bildarrays) erzeugt werden. Diese konnen Angaben enthalten iiber die 

- Zeit, d. h. wann wurde ein Pixelwert zuletzt berechnet bzw. iibertragen 

- Berechnungsgrundlage. Welche ubertragenen Pixel wurden zur Berechnung des Pixeiwertes benutzt 

65 - Wahrscheinlichkeit/Genauigkeit. Wurde ein Pixelwert iibertragen oder berechnet; falls er berechnet wurde wie 

groB ist die Varianz der Pixelgruppen aus denen der neue Wert berechnet wurde? 

- Abweichung von schon kalkulierten Pixelwerten mit dann ubertragenden Pixelwerten 
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[0073] Aus diesen GroBen^^sen sich dann Bildregionen bestimmen in denen hj&fe Pixelgruppenanderungen vor- 
kommen. Benachbarte Pixd|^Bpen, oder auch komplette Bereiche werden in aljj^Hbcl ahnlichen Veranderungen, 
z. B. HeUigkeitsanderungen^Rknderungen unterliegen. Durch Auswertung dieseSHerungen lassen sich in aller Re- 
gel Objekte und ihr dynamisches Verhalten bestimmen, z. B. Gegenstand der sich im Video bewegt. GleichmaBige An- 
derungen bezogen auf das gesamte Bildarray konnen zum Beispiel auf einen Kameraschwenk hinweisen. Werden diese 5 
Informationen z. B. mit Hilfe von lernfahigen neuronalen Netzen ausgewertet, lassen sich sehr leicht Abschatzungen 
iibcr die Pixelwerte von noch nicht ubertragenden Pixelgruppen machen. TVeffen diese Abschatzungen zu, konnen Pixel- 
gruppen identiflziert werden, die besonderen Einfluss auf Veranderungen auf Objekte besitzen. Werden diese Pixelgrup- 
pen von der Quelle erneut angefragt, ist es moglich Objektbewegungen mit nur wenig Pixelgruppen genau zu bestimmen 
und vorherzusagen. In der Praxis bedeutet es, dass obwohl nur eine niedrige Bandbreite zur Verfiigung steht, niedrige 10 
Verzogerungszeiten auftreten, die wesentlich geringer sind als bei Frame-basierten Verfahren. Die Auswertung der zu- 
satzlich im Empfanger generierten Arrays erlaubt auch eine gute Objekterkennung. 

[0074] In Abhangigkeit der verfugbaren Ressourcen konnen neben der reinen Priorisierung durch die Farbwerte be- 
nachbarter Pixel auch Abhangigkeiten der Lage der priorisierten Pixelgruppen herangezogen werden. 
[0075] Ein Anwendungsfall soil dies verdeutlichen. Betrachtet man auf See einen Horizont, erscheint dieser wie eine 15 
waagerechte Linie. Es ist zu erwarten, dass die Prioritatswerte jeder Pixelgruppe entlang diesem Horizont in etwa gleich 
sind. In diesem Fall besitzen die am weitesten auseinander liegenden Punkte der Horizontlinie die groBte Aussagekraft. 
Durch Ubertragung der auBersten linken und auBersten rechten Pixelgruppen des Horizonts ist es schon moglich, diesen 
wieder zu rekonstruieren. 

[0076] Eine weitere Moglichkeit der Priorisierung liegt in der Hoherbewertung bestimmter Bildbereiche. Ein solcher 20 
Bildbereich konnen zum Beispiel Gesichter sein. Obwohl Gesichter auf Urlaubsvideos manchmal nur einen prozentual 
kleinen Bereich des gesamten Bildes ausmachen, stehen sie beim Betrachten meist im Mittelpunkt. Ein solches mensch- 
liches Sehverhalten kann durch entsprechende Priorisierung der Pixelgruppen dieser Bildbereiche (Gesichtsbereiche) be- 
rucksichtigt werden. Ebenso konnen die Pixelgruppen im Zentrum des Videos eine entsprechend hohere Priorisierung er- 
fahren. 25 
[0077] Eine weitere Moglichkeit der Optimierung besteht in der Tktsache, dass sich benachbarte Pixelgruppen gegen- 
seitig uberlagern. Durch geschickte Auswahl der Pixelgruppen kann vermieden werden, dass sich uberlagernde Pixel- 
werte benachbarten Pixelgruppen wiederholt iibertragen werden. 

[0078] Der Auf wand der zum Dekodieren verwendet wird, ist frei skalierbar. Bei kleineren Displays (z. B. Handy s) ist 
sicherlich weniger Rechenaufwand notwendig als die Wiedergabe auf einem hochauflosendem GroBbildschirm, obwohl 30 
beide den gleichen Quelldatenstrom, bestehend aus den priorisierten Pixelgruppen, verwenden. Diese flexible Skalierung 
erlaubt es Herstellern von Endgeraten, spezielle Optimierungen, z. B. Anzahl der Objekte, Historie der Bildanderungen, 
in ihre Gerate einzubauen. Fur die Hersteller ergibt sich eine Moglichkeit, sich von ihren Mitbewerbern abzuheben, ohne 
die Kompatibilitat der Videoiibertragung zu gefahrden. 
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Patentanspruche 



1. Verfahren zur Komprimierung von Videodaten, die aus einem Array einzelner Bildpunkte (Pixel) bestehen, wo- 
bei jedes Pixel (0-419) einen sich zeitlich verandernden Pixelwert aufweist, der Farb- oder Helligkeitsinformation 

des Pixels beschreibt, gekennzeichnet durch die Schritte: 40 

a) Errnitteln eines Prioritatswertes fiir jedes Pixel des Arrays durch Berechnen eines Pixeldifferenzwertes an- 
hand des jeweils momentanen Pixelwerts des Pixels in Bezug auf die momentanen Pixelwerte einer zuvor fest- 
gelegten Gruppe von benachbarten Pixeln; 

b) Zusammenfassen der fiir die Berechnung des Prioritatswertes hinzugezogenen Pixel zu einer Pixelgruppe 
(P0-P4), ~ " 45 

c) Sortieren der Pixelgruppen anhand ihres Prioritatswertes und Ablegen in einem Prioritatenarray; und 

d) Abspeichern und/oder Ubertragen der Pixelgruppen entsprechend ihrer Prioritat im Prioritatenarray, 
wobei die Schritte a) bis d) standig wiederholt werden, wobei die Prioritatswerte der Pixelgruppen stets neu ermit- 
telt werden und das Prioritatenarray zu jedem Zeitpunkt die nach aktuellen Prioritaten sortierten Pixelgruppen ent- 
halt. 50 

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der Pixeldifferenzwert sich aus der Differenz des Pi- 
xelwerts eines betrachteten Pixels zum Pixelwert jedes seiner betrachteten Nachbarpixel der Pixelgruppe ergibt. 

3. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass zu Beginn die KenngrbBen 
des Videobildes, wie Bildbreite in Pixel, Bildhohe in Pixel und Form der verwendeten Pixelgruppe abgespeichert 
und/oder ubertragen werden. 55 

4. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass fur jede Pixelgruppe die 
Position eines Bezugspixels (P0), dessen Pixelwert, sowie der Pixelwert der Ubrigen Pixel (P1-P4) der Pixelgruppe 
abgespeichert oder ubertragen wird. 

5. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass Pixelgruppen bestimmter 
Bildbereiche cine erhohte Prioritat zugeordnet wird. 60 

6. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass die Pixelwerte der Pixel- 
gruppen durch Lauflangencodierung oder andere Kompressionsverfahren weiter komprimiert werden. 

7. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass die laufende Ermitdung 
und Ausgabe der nach Prioritaten sortierten Pixelgruppen bereits durch ein verwendetes bildaufnehmendes System, 
wie z. B. Scanner, CCD-Kamera, erfolgt. 65 

8. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass Framegrabber Karten 
(bzw, Softwarelosungen) eingesetzt werden konnen, um auch vorliegendes Videomaterial verschiedenster Formate 
(z. B. AVI, MPEG-1, MPEG-2, MPEG-4, . . .) zu konvertieren. 
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9. Verfahren zur Rek< 
miert wurden, dadurJ 
stellt werden, wobei a 




10. Verfahren nach Anspruch 9, gekennzeichnet durch die Schritte: 

a) Generieren eines Leeren Bildarrays aus den eingelesenen KenngroBen des komprimierten Videobildes, 

b) Kontinuierliches Einlesen der abgespeicherten bzw. iibertragenen Pixelgruppen und Einfugen in das Bild- 
array, 

c) Bilden von Dreiecken durch Verbinden von jeweils drei unmittelbar benachbarter Pixelgruppen durch min- 
destens eine Linie, 

d) Ausfullen der die Flache der Dreiecke bildenden Pixel durch einen aus den das Dreieck bildenden Pixel- 
gruppen berechneten Farb- und/oder Helligkeitsverlauf, und 

e) Wiederholen der Schritte b) bis e) 

11. Verfahren nach einem der Anspriiche 9 oder 10, dadurch gekennzeichnet, dass die Dreiecke in ihrer GroBe ska- 
lierbar und an unterschiedliche Bildauflosungen anpassbar sind. 

12. Verfahren nach einem der Anspriiche 9 bis 11, dadurch gekennzeichnet, dass zusatzliche Arrays erzeugt werden 
konnen, die Angaben enthalten iiber die: 

- Zeit, d. h. wann wurde ein Pixelwert zuletzt berechnet bzw. ubertragen, 

- Berechnungsgrundlage, d. h. welche iibertragenen Pixel wurden zur Berechnung des Pixelwertes benutzt, 

- Wahrscheinlichkeit/Genauigkeit, d. h. wurde ein Pixelwert ubertragen oder berechnet; falls er berechnet 
wurde, wie groB ist die Varianz der Pixelgruppen aus denen der neue Wert berechnet wurde, 

- Abweichung von schon kalkuiierten Pixelwerten rnit dann ubertragenden Pixelwerten. 

13. Verfahren nach einem der Anspriiche 9 bis 12, dadurch gekennzeichnet, dass anhand der gernaB Anspruch 12 
erzeugten Arrays, auf einfache Art Bewegungsprofile und Objekte erkannt werden konnen. 

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass durch Auswertung der Bewegungsprofile und Ob- 
jekte fliissige Bewegungen mit extrem niedrigen Latenzzeiten, trotz niedrigster Ubertragungsraten erzielt werden 
konnen. 



Hierzu 4 Seite(n) Zeichnungen 
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[ ] The invention relates to a method for compressing and decompressing video data consisting 
of an array of individual image points (pixels). Each pixel has a pixel value that changes with 
time and that describes the colour or luminosity information of the pixel. According to the 
method, a priority is allocated to each pixel and the pixels are then stored in a priority array 
according to this priority allocation. Said array contains at each moment in time the pixel values 
that have been classified according to the priority allocation. The pixels and the pixel values that 
have been used to calculate the priority allocation are transmitted or saved according to said 
priority allocation. A pixel receives a high priority, if the differences in relation to its neighbouring 
pixel are great. For the reconstruction process, the current pixel values in each case are 
reproduced on the display. The pixels that have not yet been transmitted are calculated from the 
pixels that have already been transmitted. 
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Beschreibung 



[0001] Die Erfindung beschreibt ein Verfahren zur Komprimierung und Dekomprimierung von Videodaten 
[0002] Videos erzeugen gra&e Datenmengen. Urn diese Datenmengen effektiv zu ubertragen und abzuspei- 
chern, ist es sinnvoll diese zu komprimieren. 



[0003] Nach der heutigen Stand der Technik werden Videosignale in einer schnellen Abfblge von Einzelbil- 
dem aufgenommen und wiedergegeben. Beim Fernsehen (PAL-Norm) sind dies 25 Bilder pro Sekunde, bzw. 
50 HalbbikJer. Bei digitalen Aufnahmen sind das bis ca. 30 Bilder pro Sekunden. Jedes Bild wird in Zeilen zer- 
legt, und zunachst sequentiell ubertragen. 

[0004] Bisherige Komprimierungsmethoden basieren im wesentlichen auf der Reduzierung der Auflosung, 
der Farbtiefe und der Verringerung der Anzahl der Bilder pro Sekunde. Bei der digitalen Kompression, z.B. den 
MPEG-Verfahren, werden ansteile von kornpletten Bildern im wesentlichen die Differenzbilder, d.h. die Unter- 
schiede der einzelnen Bildpunkte (Pixel) im Vergleich zum vorherigen Bild, ansteile der Komplettbilder ubertra- 
gen. Der neueste Standart fur Videokodierung ist MPEG4. 

[0005] MPEG ist die Abkiirzung fur "Motion Pictures Expert Group". Von dieser Gruppe wurden bzw. werden 
Dateiformate und Verfahren zum platzsparenden Komprimieren und Speichern von Video- bzw. Multimediada- 
ten (Video, Bild- und Tondaten) in hoher Qualitat festlegt Der MPEG-Standard unterteilt sich inzwischen in 
MPEG-1, MPEG-2, MPEG-3 und MPEG-4 , wobei der MPEG-3-Standard mittlerweile in MPEG-2 integriert 
wurde. 

[0006] Um die riesige Datenmenge von Filmen mit "normalen" Computem verarbeiten und transportieren zu 
konnen, werden nur die Veranderungen zum Vorgangerbild abgespeichert. Das MPEG-Format spei chert in re- 
gelmaliigen Abstanden von typischerweise zwolf Bildern sogenannte Intra-Frames ab; das sind JPEG-kompri- 
mierte Einzelbilder. Die Bilder zwischen diesen l-Frames werden nach Moglichkeit nicht komplett abgelegt. 
Vielmehrspeichert MPEG, wie man sie durch Verschieben von Teilen aus vorangehenden oder nachfolgenden 
Bildern zuruckgewinnen kann. Dazu werden auch vorausschauende "Predicted Frames" und "B-Frames" 
(Bi-directionale Frames) verwendet. Da das aber nie perfekt klappt, werden zusatzlich pro Bild die verbleiben- 
de Abweichung noch JPEG-kodiert abgespeichert. Mit dieser Methode lasst sich der Datenaufwand fur einen 
Video-Film um etwa 99% verringern . Die mogliche Kompression geht bis 200:1 . 

[0007] MPEG-1 wurde fur flussige Video-Wiedergaben entworfen. Die MPEG-1 -Komprimierung bzw. Dekom- 
primierung war ursprunglich ein hardwareabhangiges Verfahren. Es ist allerdings mittlerweile, dank der schnel- 
len Prbzessoren, auch ein Softwaredekomprimieren moglich. 

[0008] Der wesentliche Unterschied zwischen MPEG-1 und MPEG-2 besteht darin, dali MPEG-2 besser mit 
dem beim Fernsehen eingesetzten Zeilensprungverfahren (Interlace) umgehen kann. Das Geheimnis von 
MPEG-2 liegt in der Kompression auf hochster Qualitatsstufe, so daft Filmmaterial nahezu 1 zu 1 in Studio- 
qualitat bearbeitet und editiert werden kann. Konsequenterweise etablierte sich MPEG-2 zu einem Standard. 
Bei einer reinen l-Framecodierung lasst sich MPEG-2 sogar im Schnittbetrieb einsetzen. 
[0009] Der Teil des MPEG-3-Standard, derfur High Definition TV-Qualitat (HDTV) vorgesehen war, wurde mit- 
tlerweile in den MPEG-2-Standard implementiert MPEG-4 ist eine WeiterentwicWung des MPEG-2-Formats 
und befindet sich seit 1996 in der Entwicklung. Obwohl MPEG-4 ursprunglich als ein Codierungsstandard fur 
audiovisuelle Daten mit sehr niedriger Bitrate gedacht war, diente die Entwicklung weit mehr Zwecken als le- 
diglich dem Streaming von linearen Mediendaten bei Internet- und drahtlosen Anwendungen. MPEG-4 stellt 
z.B. effiziente Mechanismen zur Komprimierung und Distribution interaktiver Medieninhalte bereit AuBerdem 
verfugt MPEG-4 uber 3D-Potentiale, um kunstliche Intelligenzen zu visualisieren oder Avantare darzustellen, 
z.B. im Rahmen von Videokonferenzen. 

[001 0] Die Kompressionsrate ist bei MPEG-4 hoher als bei MPEG-2, wobei w Sprites tt besser komprimiert wer- 
den konnen, weil dem Codier-Mechanismus dafur wesentlich mehr Zeit zur Verfugung steht. Eventuell kann 
dabei sogar auf Wavelets umgeschaltet werden. Die Skriptsprache ermoglicht es, in wenigen Bytes Operatio- 
nen wie "verschieben" wesentlich schneller durchzufuhren, als es die digitalisierte komprimierte Form der glei- 
chen Operation ermoglichen wurde. Mit Hilfe dieser "Sprites" konnen beliebig konturierte Standbilderuber sich 
bewegende Bilder geschoben werden. 

[001 1 ] Aus der DE 692 26 825 T2 (EP 0 521 662 B1 ) ist ein Verfahren zum Bearbeiten von Bilddaten bekannt, 
die aus einem Array von einzelnen Bildpunkten bestehen. Dabei wind jedes Pixel eines Videobildes mit einer 
vorgewahlten Gruppe von Nachbarpixel verglichen, und es werden Prioritatswerte derart ermittelt, dass Lokal- 
bereich-Maxima und Lokalbereich-Minima dargestellt werden. Das Verfahren beruht auf der Anwendung von 
Autokorrelation. 

[0012] Die DE 696 10 987 T2 (EP 0 845 191 B1) betrifft ein Verfahren zur Kompression von Bilddaten, das 
im wesentlichen auf einer Vorhersage von Bilddaten aus bereits abgetasteten Bilddaten beruht. 
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